Ledger menjalin hubungan cinta dengan Naomi Watts yang dikenalinya di set Ned Kelly pada 2002. Mereka mula keluar pada Ogos 2002. Mereka menamatkan perhubungan mereka pada April 2004. Sebelumnya, dia keluar dengan pelakon Lisa Zane dan Heather Graham.

Ledger baru-baru ini bertunang dengan pelakon Michelle Williams yang ditemuinya di set Brokeback Mountain. Mereka mempunyai seorang anak perempuan, Matilda Rose, yang dilahirkan pada 28 October, 2005. Ayah pembaptisannya ialah Jake Gyllenhaal dan ibu pembaptisannya Busy Philipps, pelakon sama Michelle dalam Dawson's Creek.

Dia seorang penyokong Kelab Bola Sepak Eagles Pantai Barat dalam Liga Bola Sepak Australia.

Semenjak 2006, Ledger tinggal di Brooklyn, New York [5] dan menjual rumahnya di Bronte, New South Wales, Australia, untuk A$7 juta.[6][7].